Ko Phai dài gần bốn cây số và chiều rộng tối đa của nó là khoảng một cây số rưỡi. Đó là một hòn đảo có nhiều đá và một phần lớn bờ biển được hình thành bởi những vách đá. Toàn bộ đảo cao, nhưng điểm cao nhất của nó chỉ là 150 m và không có một đỉnh nào cao hơn những hòn đảo khác. Có một ngọn hải đăng trên đỉnh của hòn đảo.

Hòn đảo này nằm ở cuối phía đông nam của Vịnh Bangkok, phía Đông của Vịnh Thái Lan. Về mặt hành chính, Ko Phai thuộc về Amphoe Bang Lamung, tỉnh Chonburi.

Vùng đất gần nhất với nhóm đảo Ko Phai là Ko Lan, cách bờ biển phía Đông của Ko Phai 14 km. Có thể đi lại giữa các đảo trong khoảng hai giờ bằng thuyền từ cảng phía nam Pattaya. Tất cả những hòn đảo này là một khu vực tự nhiên được bảo vệ dưới sự giám sát của Hải quân Hoàng gia Thái Lan. Du khách phải mang theo thức ăn và nước của mình. Không cho phép lưu trú qua đêm trên Ko Phai.